Make fast forward from 2021.3-2

[dgit --quilt=unapplied]

Skip test-pull-repeated during CI

This test is expected to fail a small proportion of the time. During
the build of ostree 2018.7-1 in Debian, it seems we were unlucky on
s390x. Non-deterministic tests are also problematic for autopkgtest,
where they can gate migration of our dependencies like GLib, so skip
this test unless the caller has opted-in to non-deterministic tests.

It would be appropriate to enable this test in environments where
failures can easily be retried and are not disruptive to other
packages.

Signed-off-by: Simon McVittie <smcv@debian.org>
Gbp-Pq: Topic debian
Gbp-Pq: Name Skip-test-pull-repeated-during-CI.patch

test-commit-sign.sh: Skip a unit test when running as an installed-test

Signed-off-by: Simon McVittie <smcv@debian.org>
Gbp-Pq: Name test-commit-sign.sh-Skip-a-unit-test-when-running-as-an-i.patch

Release to unstable

Add patch to fix installed-tests

Remove Lintian override for #947258, fixed in lintian 2.105.0

Bump debhelper compat level from 12 to 13

- debian/rules: Drop --fail-missing argument to dh_missing, which is
  now the default.

Changes-By: lintian-brush
Fixes: lintian: package-uses-old-debhelper-compat-version
See-also: https://lintian.debian.org/tags/package-uses-old-debhelper-compat-version.html

Drop patch that was applied upstream

d/control: Canonicalize field name case Multi-arch => Multi-Arch

Changes-By: lintian-brush
Fixes: lintian: cute-field
See-also: https://lintian.debian.org/tags/cute-field.html

Standards-Version: 4.6.0 (no further changes)

d/copyright: Update

Update symbols file

New upstream release

Update upstream source from tag 'upstream/2021.4'

Update to upstream version '2021.4'
with Debian dir 62caccdb763680564f5ec02ffa2178ae1fe1ac77

New upstream version 2021.4

Merge pull request #2438 from cgwalters/release-2021.4

Release 2021.4

configure: post-release version bump

Release 2021.4

Merge pull request #2434 from cgwalters/custom-remote

Add support for "custom remotes"

Add support for "custom remotes"

This will be helpful for the "ostree native container" work in
https://github.com/ostreedev/ostree-rs-ext/

Basically in order to reuse GPG/signapi verification, we need
to support adding a remote, even though it can't be used via
`ostree pull`.  (At least, not until we merge ostree-rs-ext into ostree, but
 even then I think the principle stands)

Merge pull request #2435 from RBuddel/fix-delta-files-resume-legacy-transaction

repo-pull: legacy_transaction_resuming flag ignored

Merge pull request #2430 from cgwalters/stabilize-staging

upgrade: Stabilize deployment staging

repo-pull: legacy_transaction_resuming flag ignored

for deltafiles the legacy_transaction_resuming flag is not used,
which will mark the commit as done, even if files are missing.
using already existing commitstate_is_partial function as fix

upgrade: Stabilize deployment staging

We're waaay overdue for this, it's been the default
in rpm-ostree for years, and solves several important bugs
around not capturing `/etc` while things are running.

Also, `ostree admin upgrade --stage` (should) become idempotent.

Closes: https://github.com/ostreedev/ostree/issues/2389

Merge pull request #2428 from lucab/ups/tests-selinux-basic

tests: fix bare mode unprivileged 'make check'

tests: skip a broken fsck case

There are some existing issues around fsck in unprivileged bare mode,
so this test does not really work at the moment. Leaving it as a FIXME
for the moment.

tests/basic: avoid changing ownership

This avoids possible issues when trying to chmod, tweaking
permissions instead.

tests/basic: Skip --no-xattrs if we have selinux

It cannot work to use `--no-xattrs` when SELinux is enabled
because we get a `security.selinux` attribute on created files
regardless.  So just skip this test if true.

Also add some `ostree fsck`s in here which helped me debug
this.

libtest: tweak selinux/relabel message

Merge pull request #2340 from cgwalters/sign-verify-api

Add an API to verify a commit signature explicitly

Add an API to verify a commit signature explicitly

We have a bunch of APIs to do GPG verification of a commit,
but that doesn't generalize to signapi.  Further, they
require the caller to check the signature status explicitly
which seems like a trap.

This much higher level API works with both GPG and signapi.
The intention is to use this in things that are doing "external
pulls" like the ostree-ext tar import support.  There we will
get the commitmeta from the tarball and we want to verify it
at the same time we import the commit.

Merge pull request #2426 from cgwalters/xattrs-bareuseronly-union

checkout: Also ignore xattrs for union in bare-user-only mode

Merge pull request #2425 from cgwalters/hardlink-correct-errno

checkout: Save errno when re-throwing

checkout: Also ignore xattrs for union in bare-user-only mode

Followup to PRs related to https://github.com/ostreedev/ostree/issues/2410

Since the test suite now covers this the test was failing on
a Fedora SELinux enabled host where we see `security.selinux`
even if not in the commit.

Merge pull request #2424 from cgwalters/test-nonroot-ci

ci: Run GH action CI build+test as non-root

Merge pull request #2422 from cgwalters/allow-none-detached

lib: Change read_commit_detached_metadata to be nullable

checkout: Save errno when re-throwing

I was seeing an `EPERM`  here which was confusing.
It turned out the real error was `EEXIST`.

Since we're referring to the original error, but we do a
lot of computation in the middle, we need to save errno.

ci: Run main GH action CI build+test as non-root

This is really the standard best practice, matching how
e.g. dpkg/rpm work, as well as most local development
environments (including mine) with e.g. `toolbox`.

lib: Change read_commit_detached_metadata to be nullable

Hit this while working on some Rust code.

Merge pull request #2421 from lucab/ups/auto-txn-fixes

lib: improve transactions auto-cleanup logic

lib: improve transactions auto-cleanup logic

This fixes some aspects of OstreeRepoAutoTransaction and re-aligns
it with the logic in flatpak. Specifically:
 * link to the underlying repo through refcounting
 * bridge internal errors to warning messages
 * verify the input pointer type

This is a preparation step before exposing this logic as a public API.

Merge pull request #2418 from lucab/ups/lib-commit-xattrs

commit: automatically skip xattrs in bare-user-only mode

tests: update several bare-user-only checks

lib/commit: automatically skip xattrs in bare-user-only mode

builtins/commit: set up relevant flags in bare-user-only mode

This detects bare-user-only mode and automatically enables a
commit modifier with relevant flags.

lib/diff: automatically skip xattrs in bare-user-only mode

Merge pull request #2419 from dbnicholson/gpg-list-keys

bin/remote: Rename list-gpg-keys to gpg-list-keys

bin/remote: Rename list-gpg-keys to gpg-list-keys

As pointed out in the original review, `gpg-list-keys` fits better
alongside the existing `gpg-import`.

Changes were done with:

```
git grep -l list-gpg-keys | xargs sed -i 's/list-gpg-keys/gpg-list-keys/'
for src in $(git ls-files '*list-gpg-keys*'); do
  dst=${src/list-gpg-keys/gpg-list-keys}
  git mv "$src" "$dst"
done
```

Release to unstable

Make fast forward from 2020.8-2

[dgit --quilt=unapplied]

Skip test-pull-repeated during CI

This test is expected to fail a small proportion of the time. During
the build of ostree 2018.7-1 in Debian, it seems we were unlucky on
s390x. Non-deterministic tests are also problematic for autopkgtest,
where they can gate migration of our dependencies like GLib, so skip
this test unless the caller has opted-in to non-deterministic tests.

It would be appropriate to enable this test in environments where
failures can easily be retried and are not disruptive to other
packages.

Signed-off-by: Simon McVittie <smcv@debian.org>
Gbp-Pq: Topic debian
Gbp-Pq: Name Skip-test-pull-repeated-during-CI.patch

tests: Unset SOURCE_DATE_EPOCH

Some distributions set this during build in order to have reproducible
builds from the same source code: for example, Debian uses the date
from debian/changelog.

However, some of our tests assume that `ostree commit` will result in
a commit with the current date/time, and SOURCE_DATE_EPOCH breaks that
assumption. Unset it for our build-time tests.

Bug: https://github.com/ostreedev/ostree/issues/2405
Signed-off-by: Simon McVittie <smcv@collabora.com>
Applied-upstream: 2021.4, commit:2c5fa2cdb6c304394ca629c959ec53d878f3f93a

Gbp-Pq: Name tests-Unset-SOURCE_DATE_EPOCH.patch

Merge pull request #2417 from lucab/ups/diff-repo-ignore-xattrs

lib/diff: ignore xattrs if disabled on either repos

lib/diff: ignore xattrs if disabled on either repos

This fixes the logic to detect whether xattrs should be automatically
ignored when diffing.

Merge pull request #2412 from lucab/ups/lib-commit-canonicalize

lib/commit: autofix permissions for bare-user-only

Merge pull request #2401 from dbnicholson/gpg-key-info

Remote GPG key info

lib/commit: autofix permissions for bare-user-only

This tweaks commit logic to detect bare-user-only repositories and
canonicalize permissions automatically.

Adjust Lintian overrides

Recent debhelper installs units into /usr/lib/systemd, so adjust our
override to match either way.

d/rules: Normalize permissions of installed-tests

Apply patch from upstream to fix tests with SOURCE_DATE_EPOCH

Revert "d/test.sh, d/tests: Unset SOURCE_DATE_EPOCH"

This reverts commit d18bfcc689a7676694356710b1f432365334b81a.

d/gbp.conf: Switch branch back to debian/master

Merge pull request #2415 from lucab/ups/checksum-canonical-perms

lib/checkout: use canonical permissions in bare-user-only mode

lib/repo/checkout: use canonical perms in bare-user-only mode

This automatically enables canonical permissions for checkouts in
bare-user-only mode.

lib/core/checksum: add flag to use canonical permissions

This adds a new `OSTREE_CHECKSUM_FLAGS_CANONICAL_PERMISSIONS`
checksumming flag, which is needed in bare-user-only mode
to ignore local IDs.

Merge pull request #2414 from lucab/ups/cli-commit-modifier-autoptr

builtins/commit: move commit modifier to auto-cleanup

Merge pull request #2411 from lucab/ups/cli-commit-errors

builtins/commit: check for conflicting permissions options

builtins/commit: move commit modifier to auto-cleanup

This reduces the usage of goto cleanup logic by porting the commit
modifier pointer to autoptr.

builtins/commit: check for conflicting permissions options

This explicitly checks for commit command options asking for both
non-zero UID/GID and canonical permissions at the same time,
which are incompatible.

Merge pull request #2409 from jlebon/pr/cov-fixes

A couple of Coverity fixes

ostree/dump: Fix free'ing a static string

Reported-by: Seth Arnold <seth.arnold@canonical.com>

lib/sysroot: Fix error message about creating `/var/lib`

Reported-by: Seth Arnold <seth.arnold@canonical.com>

lib/sign-dummy: Handle incorrect signatures correctly

We need to check all signatures for one which passes, not just fail on
the first one.

Reported-by: Seth Arnold <seth.arnold@canonical.com>

Merge pull request #2408 from bgilbert/workflow

workflows: bump lint toolchain; restrict repository access

workflows: limit permissions to reading repo contents

Move the existing docs permissions stanza to the top of the workflow for
consistency.

workflows: bump lint toolchain

Merge pull request #2406 from liujianqiang-niu/main

fix: Avoid wild pointers

fix: Avoid wild pointers

Pointer command is dangerous if there is no assignment.

Log: Avoid wild pointers

Merge pull request #2407 from smcv/tests-source-date-epoch

tests: Unset SOURCE_DATE_EPOCH

tests: Unset SOURCE_DATE_EPOCH

Some distributions set this during build in order to have reproducible
builds from the same source code: for example, Debian uses the date
from debian/changelog.

However, some of our tests assume that `ostree commit` will result in
a commit with the current date/time, and SOURCE_DATE_EPOCH breaks that
assumption. Unset it for our build-time tests.

Resolves: https://github.com/ostreedev/ostree/issues/2405
Signed-off-by: Simon McVittie <smcv@collabora.com>

Release to experimental

d/test.sh, d/tests: Unset SOURCE_DATE_EPOCH

Otherwise, some tests will think we're downgrading, and fail.

Drop patches that were applied upstream

Update changelog

d/libostree-1-1.symbols: Remove a duplicate symbol

d/libostree-1-1.symbols: Update

Increase build-dependency to GLib 2.44

New upstream release

Update upstream source from tag 'upstream/2021.3'

Update to upstream version '2021.3'
with Debian dir 8860039737458a32b15fcdbfddb9cd869e19da99

New upstream version 2021.3

Update changelog

fixup! lib/repo: Add ostree_repo_remote_get_gpg_keys()

fixup! bin/remote: Add list-gpg-keys subcommand

fixup! lib/repo: Add ostree_repo_remote_get_gpg_keys()

bin/remote: Include update URLs in list-gpg-keys

lib/repo: Include WKD update URLs in GPG key listing

If the key UID contains a valid email address, include the GPG WKD
update URLs in GVariant returned by ostree_repo_remote_get_gpg_keys().

libotutil: Add helper for GPG WKD update URLs

Calculate the advanced and direct update URLs for the key discovery
portion[1] of the OpenPGP Web Key Directory specification, and include
the URLs in the key listing in ostree_repo_remote_get_gpg_keys(). These
URLs can be used to locate updated GPG keys for the remote.

1. https://datatracker.ietf.org/doc/html/draft-koch-openpgp-webkey-service#section-3.1

libotutil: Import implementation of zbase32 encoding

This will be used to implement the PGP Web Key Directory (WKD) URL
generation. This is a slightly cleaned up implementation[1] taken from
the zbase32 author's original implementation[2]. It provides a single
zbase32_encode API to convert a set of bytes to the zbase32 encoding.

I believe this should be acceptable for inclusion in ostree. The license
in the source files is BSD style while the original repo LICENSE file
claims the Creative Commons CC0 1.0 Universal license, which is public
domain.

1. https://github.com/dbnicholson/libbase32/tree/for-ostree
2. https://github.com/zooko/libbase32

bin/remote: Add list-gpg-keys subcommand

This provides a wrapper for the `ostree_repo_remote_get_gpg_keys`
function to show the GPG keys associated with a remote. This is
particularly useful for validating that GPG key updates have been
applied. Tests are added, which checks the
`ostree_repo_remote_get_gpg_keys` API by extension.

lib/repo: Add ostree_repo_remote_get_gpg_keys()

This function enumerates the trusted GPG keys for a remote and returns
an array of `GVariant`s describing them. This is useful to see which
keys are collected by ostree for a particular remote. The same
information can be gathered with `gpg`. However, since ostree allows
multiple keyring locations, that's only really useful if you have
knowledge of how ostree collects GPG keyrings.

The format of the variants is documented in
`OSTREE_GPG_KEY_GVARIANT_FORMAT`. This format is primarily a copy of
selected fields within `gpgme_key_t` and its subtypes. The fields are
placed within vardicts rather than using a more efficient tuple of
concrete types. This will allow flexibility if more components of
`gpgme_key_t` are desired in the future.